[EXPO]生成AIで会話をしながら似顔絵を描く展示が凄かった #re:Invent#EXPO

生成AIでモデルさんと会話をしながら似顔絵を描くロボットがいました

re:Inventの中には Expo と呼ばれる特大の展示会場があり、多くの企業がAWSに関連したサービスを紹介しています。
(SWAG = Stuff We Are GET もここで沢山貰えます）
この中の.monks社の絵を描くロボットの展示が大変興味深かったです！

展示員の方に伺ったところ、センサー2つ、マイク、絵を描く部分のサーボモーターの構成だそうです。
見た目より大変シンプルに思えました。

1. 人間の顔を認識し、鼻、目、口、輪郭と位置を評価する(画像認識)センサー
2. モデルさんの返答を聞き取るセンサー

顔を認識し、顔のパーツを評価しています。モデルさんは顔の向きをあちこち動かしても追従していました。

ロボットはモデルさんに「どんな物が好きか？」等を質問し絵に反映を行います。下記画面で認識している会話を示しています。

彼の回答から犬を一緒に描くことを決定しました。質疑応答は絵を描いている間ずっとしているので、少しずつ変化がありそうです。(男性のモデルさんのところに二匹の犬はいません)

男性モデルさんの絵の完成を待てなかったので、女性モデルさんの完成パターンを共有します。
モデルさん、会話から設定した絵、実際の絵の再現性がとても高く凄く驚きました。

ペンを持っている手の部分はサーボモーターで動いていて、別センサーによるキャリブレーションはしていないそうです。今後ペンへの筆圧を認識するセンサー、キャリブレーション等が追加されたら、更に絵の精度が上がりそうに思いました。

他モデルさんの絵も展示されていました。どの絵も独創性があってロボットが描いたとは思えなかったです。少なくとも私より全然が上手いです。左下にはしっかりサインも入っていました。